Retrieval-Augmented Generation for Large Language Models: A Survey

논문: https://arxiv.org/abs/2312.10997

초록

대규모 언어 모델(LLM)은 인상적인 기능을 제공하지만 환각, 오래된 지식, 투명하지 않고 추적할 수 없는 추론 과정과 같은 문제에 직면합니다. 검색 증강 생성(RAG)은 외부 데이터베이스의 지식을 통합하여 유망한 솔루션으로 떠오르고 있습니다. 이는 특히 지식 집약적인 작업에서 생성의 정확성과 신뢰성을 향상시키고 지속적인 지식 업데이트와 도메인별 정보의 통합을 가능하게 합니다. RAG는 LLM의 고유한 지식과 외부 데이터베이스의 방대하고 역동적인 리포지토리를 시너지 효과를 내며 병합합니다. 이 포괄적인 리뷰 백서에서는 나이브(Naive) RAG, 고급(Advanced) RAG, 모듈형(Modular) RAG를 아우르는 RAG 패러다임의 발전 과정을 자세히 살펴봅니다. 검색, 생성, 증강 기술을 포함하는 RAG 프레임워크의 삼위일체적 토대를 꼼꼼하게 면밀히 조사합니다. 이 백서에서는 이러한 각 핵심 구성 요소에 내장된 최첨단 기술을 강조하여 RAG 시스템의 발전에 대한 심도 있는 이해를 제공합니다. 또한 이 백서에서는 최신 평가 프레임워크와 벤치마크를 소개합니다. 마지막으로 현재 직면한 과제를 설명하고 향후 연구 및 개발 방향을 제시합니다.